package test.java.InterfaceTest.chineseParser;

import java.util.HashMap;
import java.util.Map;

/*
 * 个人著作权人, 作者 罗瑶光, 浏阳
 * yaoguangluo@outlook.com, 313699483@qq.com, 2080315360@qq.com,
 * (lyg.tin@gmail.com2018年回国后因国内G网屏蔽不再使用）
 * 15116110525-浏阳德塔软件开发有限公司-创始人-法人-总经理-永久非盈利-
 * 430181198505250014, G24402609, EB0581342
 * 204925063, 389418686, F2406501, 0626136
 * 湖南省 浏阳市 集里街道 神仙坳社区 大塘冲一段路 208号 阳光家园别墅小区 第十栋别墅 第三层
 * */
/*
 * 这是一个 关于极速分词 的测试类扩展加工函数，main函数demo的test版本，进行输出map化，
 * 方便百分比比对。避免修改源码后输出要全部逐字检查 繁琐 浪费精力。 在导入了api之后进行
 * 系统集成，系统需要jdk1.8 以上的java环境, 本人会把测试的输入输出都注释在这个文件里。
 * 及其傻瓜化的流程，方便商业化落地。
 * --罗瑶光
 * */
class LoadVerbalOutputMap3 {
	void exec(Map<String, String>[] verbal, String[] ss, String[] ss1) {
		ss1[52] = "手术-台上-护士-对-医生-说-王-主任-你-爱人-醒-了-这句话-中-的-你-爱人-"
			+ "可以-指-医生-自己的-爱人-也可以-指-被-医生-手术-的-那个-病人-的-爱人-";
		ss1[53] = "他-在-山上-种-树-纯属-为了-好玩-这句话-可以-理解-为-种-树-这个-行为-"
			+ "发生-在-山-上-也-可以-理解-为-种-的-是-山上-的-树-";
		ss1[54] = "这个-人-连-校-长-都-不-认识-可以-理解-为-这个-人-不-认识-校-长-也-可以"
			+ "-理解-为-校-长-不-认识-这个-人-";
		ss1[55] = "我-看见-她-穿着-一件-粉红色-的-上衣-一条-白色-的-裙子-一-顶-黑色-的-"
			+ "帽子-这里-可能会-让-人-疑惑-是-她-同时-穿-了-这-三-样-还是-分别-在-不同"
			+ "-时候-穿-了-这些-";
		ss1[56] = "我-和-他的-同学-在一起-学习-可以-理解-为-我-和-他的-某-一个-同-学-一起-"
			+ "学习-也-可以-理解-为-我-和-他-是-同学-我们-一起-学习-";
		ss1[57] = "他-去-了-北京-我-没-去-他-在-那里-买-了-很多-东西-可能会-让-人-误解-为"
			+ "-他-在-北京-买-了-东西-给-我-";
		ss1[58] = "这-是-一位-年-过-六-旬-的-身体-非常-健康-的-曾经-多次-获得-过奖-章-的-"
			+ "退休-工人-这句话-中-的-多个-定语-可能会-让-人-对-这-位-工-人-的-具体-身份-"
			+ "有-不同-理解-";
		ss1[59] = "他-有一个-女儿-在-医院-工作-可以-理解-为-他的-女儿-在-医院-工作-也-可以"
			+ "-理解-为-他-在-医院-有一个-工作-的-女儿-可能-不止-一个-女-儿-";
		ss1[60] = "这个-精致-的-灯笼-将-作为-今天-得分-最高-的-嘉宾-的-礼品-赠送-给-他-这句话"
			+ "-中-的-他-可以-指-得分-最高-的-嘉宾-也可以-指-将-灯笼-赠送-给-嘉宾-的人-";
		ss1[61] = "咬-死-了-猎人-的-狗-可以-理解-为-是-狗-被-咬-死-了-，-而-这-只-狗-是-猎人"
			+ "-的-也-可以-理解-为-是-狗-咬-死-了-猎人-";
		ss1[62] = "新闻-数据-香-*-*-*-学-将来-合-*-*-中-进行-招生-宣传-今年-在-皖-招-8-人-"
			+ "万-家-热线-安徽-第一-门户-";
		ss1[63] = "微博-数据-补-了-battle-赛-峰暴班-的-两个-弟弟-妹妹-@-杨宝心-@-修儿"
			+ "-一个是-我-很-挺-的-好-弟-弟-一个是-我-推荐-进-好-*-音-的-妹子-虽然-都-在"
			+ "-battle-阶段-都-下来-了-但是-我-依然-像-之前-那样-觉得-你们-非常-棒-";
		ss1[64] = "汽车-论坛-舒适-性-胎噪-风噪-偏大-硬-过-坎-弹跳-明显-";
		ss1[65] = "餐饮-点-评-根-闺-蜜-在-西单-逛-街-想-吃-寿司-了-在-西单-没-搜-到-"
			+ "其他-的-日料-店-就-来-了-禾绿-了-我们-俩-都-觉-得-没-以前-好了-";
		/*
		开始思考这句，上将前是奥运会，名词前是可以接名词的逻辑。如果改成 军*类，那么就成了 
		在-伦敦军事类上将可能有一位沙**伯的女子，歧义语句语义就是正确的表达逻辑，说明分词
		逻辑-上将-是正确的，但语义上是错误的。错误的原因是主题环境和名词，所以解决这类问题
		有2种方案
		1 去掉上将中将少将等 介量度+名组合的语料词库 复合名词，将上将拆开输出，之后用单字
		名词组合map去遍历这些输出了单字来包装。
		举个例子，分词输出是 在-伦-敦-奥运会-上-将-可-能-有-一位-沙-特-阿拉伯-的-女子- 
		然后通过奥运会得到分词国际环境标识，得到当前国际国家列表map去匹配 输出的单字sets，
		可以得到伦敦成为一个词，沙* 成为一个词，最终输出为在-伦*-奥运会-上-将-可能-有-
		一位-沙*-阿*伯-的-女子-，同样的问题，奥运会改为军委后，通过军委关键字得到分词军事
		环境标识，通过当前军事词汇列表map去匹配输出的单字sets，可以的得到 上将成为一个词。
		最终输出为在-伦*-军*-上将-可能-有-一位-沙*-*伯-的-女子-，这种环境类名词定制map
		在商业计算属于 输出校正逻辑，而不是 分词中枢逻辑。
		
		2 加入语义环境思维逻辑，思考奥运会是体育名词，上将是军事名词，后者名词与前者名词
		没有所属，同行，因果，关联，混淆等强逻辑关系，应该拆开进行前序匹配 上将 之后的词
		汇进行分析是否应拆开这个名词。这种逻辑模拟了人的辩证思维，是一个复杂的笛卡尔关系分
		解，耗费大量时间。但是分词会非常准确。
		
		综上所述，当前最快速最有效的区分组合类名词的方式是分词后通过关键词得到环境标识，通
		过环境标识得到该环境类的所有定制组合名词map，然后将单字连续2个以上的进行遍历是否需
		要组合包装输出。
		
		所以面对这类问题，我的结论是，我的65000词汇表会将所有含有介词 度 量 组合类的名词
		进行全部删除，比如 会上会下，中将，上将 第48526行，这类全部剔除出词汇表。，之后设
		计定制map将分词后的词汇 进行包装再输出。中将，上将并入军事环境定制map， 伦敦 阿
		拉伯 沙特并入国家环境定制map，会上 会下 并入 会议环境 定制map。
		
		另外我也得到一个结论，当前的一些分词机构的采样分词测试排名的数据其实没有实际价值。
		只要这个定制map集不完整，排名的极限永远趋近于无效。这些群体有这个功夫花钱做数据排
		个不停，不如花点时间进行详细的将当前不断地出现的新兴各类名词词语分类提供开源的map
		下载，我罗瑶光正需要这类map，不说别人，至少我罗瑶光一定会说声谢谢你们。
		
		文中 * 省略 代表作者的作品中，不想扯到这类数据，只是业界的分词测评非要扯这类数据
		没办法。
		
		综上所述，分词有两个逻辑，
		一个是切词逻辑，如德塔分词逻辑，神经网络，前序遍历，pos流水阀门，map小表化匹配。
		一个组字逻辑，词汇得到文本环境，坏境初始定制名词map，map遍历单字校正输出。 
		德塔分词属于极速切词机器。
		
		--罗瑶光
		*/
		/*
		 * 于是开始跟进思考，当前可以立即实现的逻辑是
		 * 1 去掉词库表中所有含有上中下三个字的名词词汇 和 
		 * 2 设计 环境定制map 
		 * 3 设计 切词后list sets 走 setsFix 函数，通过 已有的LenovoInitTest 获取环境名，
		 * 4 通过环境名 得到 环境定制map 如distinction map LYG file 和 parser chars fix 
		 *   JAVA file 进行 setsFix。
		 * 5 setsFix 的匹配逻辑是，从长到短 匹配 9-8-7-6-5-4-3-2 单字连词法。
		 * 刚测试了，效果不错，输出正确。稍后优化。以后出现新兴词按这个逻辑加修正组字表即可。
		 * 
		 * 稍后我要做的是逻辑去重，减少计算浪费，提高fix的整体效率速度。
		 * 
		 * --罗瑶光
		 * */

		ss1[66] = "在-伦敦-奥运会-上-将-可能-有-一位-沙特-阿拉伯-的-女子-";
		//
		for (int i = 52; i < 67; i++) {
			String[] strings = ss1[i].split("-");
			verbal[i] = new HashMap<>();
			int size = 0;
			for (int j = 0; j < strings.length; j++) {
				if (strings[j].equals(" ") && strings[j].equals("-")) {
				} else {
					size++;
					verbal[i].put(strings[j], "");
				}
			}
			verbal[i].put("-size-", "" + size);
		}
	}
}
//ss ss1输出字符--见DemoE-Test_output.txt DemoEXTest_output1.txt 
//DemoE-Test_output2.txt 文件
//输出正确
/*
array->52
输入->手术台上护士对医生说王主任你爱人醒了这句话中的你爱人可以指医生自己的爱人也可以指被医生手术的
那个病人的爱人
输出->手术=台上=护士=对=医生=说=王=主任=你=爱人=醒=了=这句话=中=的=你=爱人=可以=指=医生=自己的=
爱人=也可以=指=被=医生=手术=的=那个=病人=的=爱人=
数据保持单字拆解条件下-分词后过滤新兴潮流代词缩写词人名等行业专业名词后对比正确率为->100.0%
采样数据可自适应修改。注意保持对比格式的严谨～
理想->手术-台上-护士-对-医生-说-王-主任-你-爱人-醒-了-这句话-中-的-你-爱人-可以-指-医生-自己的-
爱人-也可以-指-被-医生-手术-的-那个-病人-的-爱人-
end cost: 0 ms
array->53
输入->他在山上种树纯属为了好玩这句话可以理解为种树这个行为发生在山上也可以理解为种的是山上的树
输出->他=在=山上=种=树=纯属=为了=好玩=这句话=可以=理解=为=种=树=这个=行为=发生=在=山=上=也=可以=
理解=为=种=的=是=山上=的=树=
数据保持单字拆解条件下-分词后过滤新兴潮流代词缩写词人名等行业专业名词后对比正确率为->100.0%
采样数据可自适应修改。注意保持对比格式的严谨～
理想->他-在-山上-种-树-纯属-为了-好玩-这句话-可以-理解-为-种-树-这个-行为-发生-在-山-上-也-可以-
理解-为-种-的-是-山上-的-树-
end cost: 0 ms
array->54
输入->这个人连校长都不认识可以理解为这个人不认识校长也可以理解为校长不认识这个人
输出->这个=人=连=校=长=都=不=认识=可以=理解=为=这个=人=不=认识=校=长=也=可以=理解=为=校=长=不=
认识=这个=人=
数据保持单字拆解条件下-分词后过滤新兴潮流代词缩写词人名等行业专业名词后对比正确率为->100.0%
采样数据可自适应修改。注意保持对比格式的严谨～
理想->这个-人-连-校-长-都-不-认识-可以-理解-为-这个-人-不-认识-校-长-也-可以-理解-为-校-长-不-
认识-这个-人-
end cost: 1 ms
array->55
输入->我看见她穿着一件粉红色的上衣一条白色的裙子一顶黑色的帽子这里可能会让人疑惑是她同时穿了这三样
还是分别在不同时候穿了这些
输出->我=看见=她=穿着=一件=粉红色=的=上衣=一条=白色=的=裙子=一=顶=黑色=的=帽子=这里=可能会=让=人
=疑惑=是=她=同时=穿=了=这=三=样=还是=分别=在=不同=时候=穿=了=这些=
数据保持单字拆解条件下-分词后过滤新兴潮流代词缩写词人名等行业专业名词后对比正确率为->100.0%
采样数据可自适应修改。注意保持对比格式的严谨～
理想->我-看见-她-穿着-一件-粉红色-的-上衣-一条-白色-的-裙子-一-顶-黑色-的-帽子-这里-可能会-让-人
-疑惑-是-她-同时-穿-了-这-三-样-还是-分别-在-不同-时候-穿-了-这些-
end cost: 0 ms
array->56
输入->我和他的同学在一起学习可以理解为我和他的某一个同学一起学习也可以理解为我和他是同学我们一起学习
输出->我=和=他的=同学=在一起=学习=可以=理解=为=我=和=他的=某=一个=同=学=一起=学习=也=可以=理解=
为=我=和=他=是=同学=我们=一起=学习=
数据保持单字拆解条件下-分词后过滤新兴潮流代词缩写词人名等行业专业名词后对比正确率为->100.0%
采样数据可自适应修改。注意保持对比格式的严谨～
理想->我-和-他的-同学-在一起-学习-可以-理解-为-我-和-他的-某-一个-同-学-一起-学习-也-可以-理解-
为-我-和-他-是-同学-我们-一起-学习-
end cost: 0 ms
array->57
输入->他去了北京我没去他在那里买了很多东西可能会让人误解为他在北京买了东西给我
输出->他=去=了=北京=我=没=去=他=在=那里=买=了=很多=东西=可能会=让=人=误解=为=他=在=北京=买=
了=东西=给=我=
数据保持单字拆解条件下-分词后过滤新兴潮流代词缩写词人名等行业专业名词后对比正确率为->100.0%
采样数据可自适应修改。注意保持对比格式的严谨～
理想->他-去-了-北京-我-没-去-他-在-那里-买-了-很多-东西-可能会-让-人-误解-为-他-在-北京-买-
了-东西-给-我-
end cost: 0 ms
array->58
输入->这是一位年过六旬的身体非常健康的曾经多次获得过奖章的退休工人这句话中的多个定语可能会让人对
这位工人的具体身份有不同理解
输出->这=是=一位=年=过=六=旬=的=身体=非常=健康=的=曾经=多次=获得=过奖=章=的=退休=工人=这句话
=中=的=多个=定语=可能会=让=人=对=这=位=工=人=的=具体=身份=有=不同=理解=
数据保持单字拆解条件下-分词后过滤新兴潮流代词缩写词人名等行业专业名词后对比正确率为->100.0%
采样数据可自适应修改。注意保持对比格式的严谨～
理想->这-是-一位-年-过-六-旬-的-身体-非常-健康-的-曾经-多次-获得-过奖-章-的-退休-工人-这句话
-中-的-多个-定语-可能会-让-人-对-这-位-工-人-的-具体-身份-有-不同-理解-
end cost: 0 ms
array->59
输入->他有一个女儿在医院工作可以理解为他的女儿在医院工作也可以理解为他在医院有一个工作的女儿可能
不止一个女儿
输出->他=有一个=女儿=在=医院=工作=可以=理解=为=他的=女儿=在=医院=工作=也=可以=理解=为=他=在=
医院=有一个=工作=的=女儿=可能=不止=一个=女=儿=
数据保持单字拆解条件下-分词后过滤新兴潮流代词缩写词人名等行业专业名词后对比正确率为->100.0%
采样数据可自适应修改。注意保持对比格式的严谨～
理想->他-有一个-女儿-在-医院-工作-可以-理解-为-他的-女儿-在-医院-工作-也-可以-理解-为-他-在-
医院-有一个-工作-的-女儿-可能-不止-一个-女-儿-
end cost: 0 ms
array->60
输入->这个精致的灯笼将作为今天得分最高的嘉宾的礼品赠送给他这句话中的他可以指得分最高的嘉宾也可以
指将灯笼赠送给嘉宾的人
输出->这个=精致=的=灯笼=将=作为=今天=得分=最高=的=嘉宾=的=礼品=赠送=给=他=这句话=中=的=他=可以
=指=得分=最高=的=嘉宾=也可以=指=将=灯笼=赠送=给=嘉宾=的人=
数据保持单字拆解条件下-分词后过滤新兴潮流代词缩写词人名等行业专业名词后对比正确率为->100.0%
采样数据可自适应修改。注意保持对比格式的严谨～
理想->这个-精致-的-灯笼-将-作为-今天-得分-最高-的-嘉宾-的-礼品-赠送-给-他-这句话-中-的-他-可以
-指-得分-最高-的-嘉宾-也可以-指-将-灯笼-赠送-给-嘉宾-的人-
end cost: 0 ms
array->61
输入->咬死了猎人的狗可以理解为是狗被咬死了，而这只狗是猎人的也可以理解为是狗咬死了猎人
输出->咬=死=了=猎人=的=狗=可以=理解=为=是=狗=被=咬=死=了=，=而=这=只=狗=是=猎人=的=也=可以
=理解=为=是=狗=咬=死=了=猎人=
数据保持单字拆解条件下-分词后过滤新兴潮流代词缩写词人名等行业专业名词后对比正确率为->100.0%
采样数据可自适应修改。注意保持对比格式的严谨～
理想->咬-死-了-猎人-的-狗-可以-理解-为-是-狗-被-咬-死-了-，-而-这-只-狗-是-猎人-的-也-可以
-理解-为-是-狗-咬-死-了-猎人-
end cost: 0 ms
*/
//共计分词量总数-->4249.0
//共计正确分词数-->4249.0
//总分词正确比率-->100.0%

/*
-新闻-数据---香-*-*-*-学-将来-合-*-*-中-进行-招生-宣传-今年-在-皖-招-8-人-万-家-热线-安徽-
第一-门户- - 400-8-0001-007-03-02-
+新闻+数据+-+香+*+学+将来+合+中+进行+招生+宣传+今年+在+皖+招+8+人+万+家+热线+安徽+第一+门户+
 400-8-0001-007-03-05-25
400-8-0001-007-03-06-25
trif
环    境：
array->62
输入->新闻数据-香***学将来合**中进行招生宣传今年在皖招8人万家热线安徽第一门户
输出->新闻=数据=香=*=*=*=学=将来=合=*=*=中=进行=招生=宣传=今年=在=皖=招=8=人=万=家=热线=
安徽=第一=门户=
数据保持单字拆解条件下-分词后过滤新兴潮流代词缩写词人名等行业专业名词后对比正确率为->100.0%
采样数据可自适应修改。注意保持对比格式的严谨～
理想->新闻-数据-香-*-*-*-学-将来-合-*-*-中-进行-招生-宣传-今年-在-皖-招-8-人-万-家-热线-
安徽-第一-门户-
end cost: 0 ms
-微博-数据---补-了-battle-赛-峰-暴-班-的-两个-弟弟-妹妹-@-杨-宝-心-@-修-儿-一个是-我-很
-挺-的-好-弟-弟-一个是-我-推荐-进-好-*-音-的-妹子-虽然-都-在-battle-阶段-都-下来-了-但是
-我-依然-像-之前-那样-觉得-你们-非常-棒- - 400-8-0001-007-03-02-
+微博+数据+-+补+了+battle+赛+峰+暴+班+的+两个+弟弟+妹妹+@+杨+宝+心+修+儿+一个是+我+很+挺
+好+弟+推荐+进+*+音+妹子+虽然+都+在+阶段+下来+但是+依然+像+之前+那样+觉得+你们+非常+棒+ 
400-8-0001-007-03-05-46
400-8-0001-007-03-06-46
trif
环    境：
传媒 传媒  
 
array->63
输入->微博数据-补了battle赛峰暴班的两个弟弟妹妹@杨宝心@修儿一个是我很挺的好弟弟一个是我推荐进好
*音的妹子虽然都在battle阶段都下来了但是我依然像之前那样觉得你们非常棒
输出->微博=数据=补=了=battle=赛=峰暴班=的=两个=弟弟=妹妹=@=杨宝心=@=修儿=一个是=我=很=挺=的
=好=弟=弟=一个是=我=推荐=进=好=*=音=的=妹子=虽然=都=在=battle=阶段=都=下来=了=但是=我=依然=
像=之前=那样=觉得=你们=非常=棒=
数据保持单字拆解条件下-分词后过滤新兴潮流代词缩写词人名等行业专业名词后对比正确率为->100.0%
采样数据可自适应修改。注意保持对比格式的严谨～
理想->微博-数据-补-了-battle-赛-峰暴班-的-两个-弟弟-妹妹-@-杨宝心-@-修儿-一个是-我-很-挺-的
-好-弟-弟-一个是-我-推荐-进-好-*-音-的-妹子-虽然-都-在-battle-阶段-都-下来-了-但是-我-依然-
像-之前-那样-觉得-你们-非常-棒-
end cost: 0 ms
-汽车-论坛---舒适-性-胎-噪-风-噪-偏大-硬-过-坎-弹跳-明显- - 400-8-0001-007-03-02-
+汽车+论坛+-+舒适+性+胎+噪+风+偏大+硬+过+坎+弹跳+明显+ 400-8-0001-007-03-05-15
400-8-0001-007-03-06-15
trif
环    境：
交通  
 
array->64
输入->汽车论坛-舒适性胎噪风噪偏大硬过坎弹跳明显
输出->汽车=论坛=舒适=性=胎噪=风噪=偏大=硬=过=坎=弹跳=明显=
数据保持单字拆解条件下-分词后过滤新兴潮流代词缩写词人名等行业专业名词后对比正确率为->100.0%
采样数据可自适应修改。注意保持对比格式的严谨～
理想->汽车-论坛-舒适-性-胎噪-风噪-偏大-硬-过-坎-弹跳-明显-
end cost: 0 ms
-餐饮-点-评---根-闺-蜜-在-西-单-逛-街-想-吃-寿-司-了-在-西-单-没-搜-到-其他-的-日-料-店-
就-来-了-禾-绿-了-我们-俩-都-觉-得-没-以前-好了- - 400-8-0001-007-03-02-
+餐饮+点+评+-+根+闺+蜜+在+西+单+逛+街+想+吃+寿+司+了+没+搜+到+其他+的+日+料+店+
就+来+禾+绿+我们+俩+都+觉+得+以前+好了+ 400-8-0001-007-03-01-37
400-8-0001-007-03-05-37
400-8-0001-007-03-06-37
trif
环    境：
食物 食物 城市  

array->65
输入->餐饮点评-根闺蜜在西单逛街想吃寿司了在西单没搜到其他的日料店就来了禾绿了我们俩都觉得没以前好了
输出->餐饮=点=评=根=闺=蜜=在=西单=逛=街=想=吃=寿司=了=在=西单=没=搜=到=其他=的=日料=店
=就=来=了=禾绿=了=我们=俩=都=觉=得=没=以前=好了=
数据保持单字拆解条件下-分词后过滤新兴潮流代词缩写词人名等行业专业名词后对比正确率为->100.0%
采样数据可自适应修改。注意保持对比格式的严谨～
理想->餐饮-点-评-根-闺-蜜-在-西单-逛-街-想-吃-寿司-了-在-西单-没-搜-到-其他-的-日料-店
-就-来-了-禾绿-了-我们-俩-都-觉-得-没-以前-好了-
end cost: 0 ms
-在-伦敦-奥运会-上-将-可能-有-一位-沙-特-阿拉伯-的-女子- - 400-8-0001-007-03-02-
+在+伦敦+奥运会+上+将+可能+有+一位+沙+特+阿拉伯+的+女子+ 400-8-0001-007-03-05-14
400-8-0001-007-03-06-14
trif
环    境：
国家  
 
array->66
输入->在伦敦奥运会上将可能有一位沙特阿拉伯的女子
输出->在=伦敦=奥运会=上=将=可能=有=一位=沙特=阿拉伯=的=女子=
数据保持单字拆解条件下-分词后过滤新兴潮流代词缩写词人名等行业专业名词后对比正确率为->100.0%
采样数据可自适应修改。注意保持对比格式的严谨～
理想->在-伦敦-奥运会-上-将-可能-有-一位-沙特-阿拉伯-的-女子-
end cost: 0 ms
- - 400-8-0001-007-03-02-
+ 400-8-0001-007-03-05-1
400-8-0001-007-03-06-1
trif

共计分词量总数-->4387.0
共计正确分词数-->4386.0  //子分析句都是 原句子 和对比100% 之后看哪里少了哪1个字。
总分词正确比率-->99.97720537953043%
分词环境-总分词正确比率-代表数据保持单字拆解条件下-分词后过滤新兴潮流代词缩写词人名等行业专业名词后的对比正确率
分词环境-总分词正确比率 含有社会10余个专业领域的-web随机短文摘录分词
分词环境-总分词正确比率 含有罗瑶光先生以前的笔记随机长文摘录分词
分词环境-总分词正确比率 含有当前流行的浏览器AI自动生成的随机长文摘录分词
分词环境-总分词正确比率 属于全部去标点符号的歧义短文分词比率
分词环境-总分词正确比率 不适用太多单字词的古文，古文建议用分句api，不应该用分词api。

*/
